Jakub Kosterna - pd 5

Warsztaty Badawcze 2021: XAI-1

Wczytanie paczek, zbiorów & modeli

Wybrane obserwacje

Do dalszej analizy wezmę pod uwagę szesnaście ciekawych win:

Budowa explainerów

PDP - Partial Dependence Profiles

🍷 Porównując wykresy dla poszczególnych zmiennych, zdecydowanie najbardziej w oczu rzuca się Support Vector Machine - mamy tu styczność z najbardziej gwałtownymi skokami i jedynym takim przypadkiem, że niezależnie od wartości mamy styczność zazwyczaj z <łatwo> policzalną liczbą prawdopodobieństw

🍷 Random Forest wydaje się być najmniej wrażliwy na zmianę pojedynczych zmiennych - choć nie w każdym wypadku (patrz: gęstość)

🍷 Nawet biorąc pod uwagę nieregularność i dynamiczność zmienną SVM, nawet gdyby go wygładzić - widać, że stoi za nim zupełnie inna technika

🍷 Na podstawie przynajmniej tych 16 obserwacji, najsrożej wina zdaje się oceniać Gradient Boosting, przychylniej Random Forest, zaś najlepiej XGBoost - nie jest to jednak stała reguła i różnice nie są duże. Obserwacja o tyle ciekawa, że czułem, że właśnie Gradient Boosting i XGBoost będą siebie najbliżej - nie tylko biorąc pod uwagę koncepcje, ale także i jednak najlepszą trafność

🍷 Support Vector Machine niekiedy zawsze daje mniej-więcej tę samą wartość ze względu na zmianę jakiejś zmiennej, ale są też przypadki, że jej turbulencje owocują w największe rozbieżności

🍷 Dla wszystkich modeli zwykle mamy styczność z zasadą większa wartość --> mniej-więcej stale niższa / wyższa predykcja. Wyjątkiem jest jednak chociażby kolumna free sulfur dioxide, gdzie Support Vector Machine uzyskuje największe wartości na środku analizowanego , czy ciekawe wahania Gradient Boostingu dla chlorides. Regułę świetnie za to potwierdzają chociażby kolumny alcohol, sulphates czy total sulfur dioxide

ALE - Accumulated Local Effects

🍷 Bez zmian widać największą "skoczność" dla Support Vector Machine

🍷 Często metoda przyjmuje skrajne wartości - albo największe, albo najmniejsze

🍷 Różnice między XGBoost, Random Forest i Gradient Boosting wydają się być jeszcze mniejsze

🍷 To samo tyczy się wariancji wyników

🍷 Dla niektórych predyktorów mamy niemalże niezmienną wartość - patrz: pH czy residual sugar

🍷 Przynajmniej na tych przykładach PDP zdaje się ukazywać więcej zależności i wniosków